DiaVLo: Diagnosing Behaviours of Vision-Language Models
DiaVLo：视觉语言模型行为诊断框架
🧭 多模态模型行为诊断与因果分析
Delft University of Technology
提出 DiaVLo 框架，结合人类标注与模型生成构建行为规范，因果定位关键概念以诊断 VLM 行为错位
📌 工作参考价值（4 点）
- 行为规范对比思路可迁移：在电商多模态模型（商品图理解、图文审核）上线前，用人工标注期望行为 + 模型实际行为生成规范，系统审计 alignment/misalignment，而不是只看准确率。
- 因果估计方法可用于定位影响模型预测的关键 visual/textual concept，帮助识别模型是否过度依赖文本而忽略图像，适用于排查多模态商品标签模型、图片搜索模型的 bias。
- 行为标签与性能指标关联的结果可以作为模型选型的辅助信号，特别是在不同业务场景下评测模型是否真的“看到”了关键视觉信息。
- 局限：论文面向通用 VLM 诊断，与推荐系统直接关联较弱；若要落地，需要构建电商领域的概念集和期望行为库，成本较高。